#user simulation

3 篇

BizBench: Unveiling Hidden Challenges in Deploying Long-Horizon Agents for Real-World Business

BizBench：揭示真实业务长程智能体部署中的隐藏挑战

🧭 长程 Agent 业务执行评测 ★ 深度解读

Peking University · Ant International

构建含789文档/601工具的支付业务基准，同时评估目标达成与中间执行合规，前沿模型严格成功率仅64%

📌 工作参考价值（4 点）

把「目标达成」和「执行合规」拆开评估，用确定性 checks 回放 execution trace，而不是只看最终状态；能抓到 pre-approval 执行、储备金中途跌破等最终结果掩盖不了的违规。
业务规则要显式建模 scope/版本/生效期，让 agent 先判断适用规则再执行；单纯 RAG 召回不足，需增加规则冲突消解和时效校验。
用户/客户私有信息需多轮澄清，信息获取比文档检索更影响效果；全量客户披露使 strict success 从 43.3% 提升到 70.0%，建议在业务 Agent 中设计结构化信息需求列表和主动澄清机制。
工具调用冗余严重，如 DeepSeek-V4.1-Flash 为 Golden 的 1.71 倍，且大量重复读取；可引入检索去重、budget 感知或停止条件，降低长程执行成本。

Eval | 2026-10-13 | HF Daily | score 8/10

Mind2Dialogue：通过模拟用户心理状态训练人本感知语言模型

🧭 用户心理模拟 · 人本感知LLM训练

UC San Diego · KU Leuven · University of Illinois Chicago · The Ohio State University · Johns Hopkins University

用心理引导模拟器生成共享心理状态对话，并以特权蒸馏训练更懂用户信念与目标的LLM

📌 工作参考价值（4 点）

会话式推荐/导购 Agent：可借鉴其用户模拟器，为每次会话维护潜在偏好/目标状态，并用 Oracle 基于该状态生成高质量回复，再通过特权蒸馏训练线上模型——线上只需对话历史，不需要真实心理状态。
个性化评测：将个性化与心智理论结合，评估模型能否从用户话中推断偏好并据此行动，可迁移到推荐系统的用户理解指标，而不仅看点击/转化。
数据增强：在电商对话数据稀缺时，用心理引导模拟器生成覆盖多变用户人格和演化意图的合成数据，用于微调导购、客服或选品 Agent，降低人工标注成本。
多轮交互建模：共享演化心理状态可视为用户长期兴趣与短期意图的状态跟踪，提升搜索/推荐长会话一致性。

Training | 2026-09-13 | HF Daily | score 6/10

对话到发现：属性感知的对话商品搜索助手

🧭 对话产品搜索 · 属性感知策略 ★ 深度解读

Adobe Research · Microsoft Research · UC Berkeley

D2D通过属性不确定性引导与推荐时机控制，成功率提升22–30%，弃标率降低，成功对话缩短27.5%

📌 工作参考价值（4 点）

属性选择的可解释启发式：用属性不确定性（APU）与累积熵（ACE）的乘积选择询问属性，比完全依赖 LLM 判断更可控、可解释，可直接迁移到电商搜索助手的槽位填充（slot-filling）模块。
推荐时机的置信区间重叠准则：当 top- k 项目得分置信区间重叠度低于阈值时才推送商品，避免过早推荐导致用户反感。这一规则简单、无模型依赖，适合嵌入实际对话推荐引擎的决策层。
耐心建模用于仿真评估：结合推荐相关性、问题冗余度、认知负荷等多因素更新用户耐心，构建更真实的离线用户仿真，可用于 A/B 测试前的策略选优。
模块化 LLM 调用降低成本：将属性偏好更新、推荐决策、响应生成拆分成独立的小模型调用，每轮输入 token 远小于全上下文 LLM，实测输出 token 减少 51%，适合成本敏感的在线服务。

RecSys | 2026-06-23 | cs.IR | score 8/10